Cao Dương sinh năm 526, lúc này cha Cao Hoan của ông là một tướng người Tiên Ty dưới trướng đại tướng Nhĩ Chu Vinh của Bắc Ngụy. Mẹ của ông là một người Tiên Ti tên là Lâu Chiêu Quân- chính thất của Cao Hoan, bà đã cung cấp hỗ trợ tài chính cho sự nghiệp ban đầu của Cao Hoan. Cao Dương là con trai thứ, sau huynh trưởng Cao Trừng. Sau khi Nhĩ Chu Vinh mất vào năm 530, Cao Hoan đã lật đổ gia tộc Nhĩ Chu và trở thành người cai trị thực tế của Bắc Ngụy, và sau khi Bắc Ngụy bị phân liệt thành Đông Ngụy và Tây Ngụy vào năm 534, Cao Hoan nắm quyền kiểm soát trên thực tế tại Đông Ngụy. Cao Dương vì thế đã trưởng thành trong một gia đình quyền lực, và được phong tước Thái Nguyên công vào năm 535.

Khi còn nhỏ, Cao Dương không được đánh giá cao, ông vụng về trong giao tiếp và đôi khi được xem là bị mắc chứng phát triển chướng ngại, không thể làm nhiều việc bình thường như những đứa trẻ khác. Tuy nhiên, ông thực sự có khả năng lớn trên nhiều lĩnh cực, và trong một lần, khi Cao Hoan cố gắng kiểm tra trí thông minh những người con trai của mình bằng cách bắt họ phải gỡ các cuộn chỉ rối, Cao Dương đã rút kiếm cắt cuộn chỉ thành nhiều mảnh, nói rằng đó là cách duy nhất. Khi các con trai trưởng thành hơn, trong một dịp, Cao Hoan muốn kiểm tra tài quân sự của họ bằng cách lệnh cho tướng Bành Nhạc tiến hành một cuộc tấn công giả về phía họ. Tất cả các con trai khác của Cao Hoan, bao gồm cả trưởng tử Cao Trừng, đều sợ hãi, song Cao Dương đã phản ứng một cách bình tĩnh và đã thực sự bắt được Bành Nhạc. Khi trưởng thành, ông tiếp tục thể hiện là một người vụng về và không thông minh, huynh trưởng Cao Trừng thường đánh giá thấp ông.

Cao Trừng đã được cha giao cho kiểm soát nhiều lĩnh vực trong triều đình Đông Ngụy, và đến khi cha của ông qua đời vào năm 547, Cao Trừng trở thành người cai trị trên thực tế của đế quốc. Ông ta tiến hành củng cố hơn nữa quyền lực của mình, và khi Đông Ngụy Hiếu Tĩnh Đế cố gắng tiến hành một âm mưu nhằm giết Cao Trừng, Cao Trừng đã khám phá ra âm mưu và tiến hành quản thúc Hiếu Tĩnh Đế. Sau đó, Cao Trừng lập kế hoạch tiếm vị, song tại một cuộc hội đàm vào năm 549 tại kinh đô Nghiệp thành (鄴城, nay thuộc Hàm Đan, Hà Bắc) với các trợ thủ gồm Trần Nguyên Khang (陳元康), Thôi Quý Thư (崔季舒), và Dương Âm, để thảo luận về các thủ tục cho hành động tiếm vị, Cao Trừng đã bị một nô bộc là Lan Kinh sát hại. Vào thời điểm đó, Cao Dương tình cờ đang ở tại Nghiệp thành, và ông nhanh chóng tập hợp quân lính giết chết Lan Kinh và các đồng phạm. Ông quyết định không ngay lập tức công bố cái chết của huynh trưởng, trong khi đó tiến hành củng cố quyền lực của mình.